尽管在半监督语义细分领域的进度程度不同，但其最近的大部分成功都涉及笨拙的模型，并且尚未探索轻量级解决方案。我们发现，现有的知识蒸馏技术更多地关注标签数据中的像素级概念，该数据未能在未标记的数据中考虑更有用的线索。因此，我们提供了首次尝试通过新颖的多晶蒸馏（MGD）方案提供轻量级SSS模型，其中从三个方面捕获了多个跨性别：i）互补的教师结构； ii）标记为未标记的数据合作蒸馏； iii）分层和多层次损失设置。具体而言，MGD被配制为标记的未标记数据合作蒸馏方案，该方案有助于充分利用在半监督环境中必不可少的不同数据特征。图像水平的语义敏感损失，区域级别的内容感知损失和像素级的一致性损失是通过结构互补的教师来丰富层次蒸馏抽象的。 Pascal VOC2012和CityScapes的实验结果表明，在不同的分区协议下，MGD可以超越竞争方法。例如，在1/16的CityScapes分区协议下，RESNET-18和MOBILENET-V2主链的性能分别增长了11.5％和4.6％。尽管模型骨干的拖曳量被3.4-5.3倍（RESNET-18）和38.7-59.6X（MobileNetV2）压缩，但该模型旨在实现令人满意的分割结果。

预测不同托卡马克人的破坏是要克服的巨大障碍。未来的Tokamaks在高性能排放时几乎无法忍受中断。很少有高性能的破坏排放几乎无法构成丰富的训练集，这使得当前数据驱动的方法难以获得可接受的结果。能够将在一个Tokamak训练的中断预测模型转移到另一种训练的机器学习方法以解决该问题。关键是一个包含特征提取器的破坏预测模型，该模型能够在Tokamak诊断数据中提取常见的破坏前体痕迹，并具有可转移的破坏分类器。基于上面的问题，该论文首先提出了专门针对Tokamaks上的普通诊断中的破坏前体特征而设计的深融合功能提取器，该特征是根据当前已知的破坏前体，为可转移模型提供了有希望的基础。通过与J-Text上的手动特征提取进行比较，可以证明融合功能提取器。基于在J-TEXT上训练的功能提取器，将中断预测模型转移到East数据中，仅来自East实验的20次放电。该性能与经过1896年出院的模型相当。从其他模型培训方案之间的比较，转移学习表明了其在预测不同托卡马克人的破坏方面的潜力。

分子和形态特征是生物分类学的重要部分，是矛盾的，但需要整合。如今，有机体的图像识别和生物信息学正在出现和热门问题，但它们之间存在差距。在这项工作中，由遗传信息介导的一个多分支识别框架桥接了这个障碍，该障碍建立了宏观形态学和蘑菇的微分子信息之间的联系。提出了新型的多角度结构来融合三个分支模型的特征图像，从而显着提高了识别的准确性约10％，高达90％以上。此外，通过使用遗传距离嵌入作为预测图像距离和物种识别的表示空间，将遗传信息实现到蘑菇图像识别任务中。还首次深入讨论了传统分类任务的语义过度拟合和细粒图像识别的粒度。使用零拍学习任务在细粒度的情况下研究了该模型的普遍性，这可以预测看不见样本的分类和进化信息。我们提出了第一种将图像映射到DNA的方法，即使用编码器映射图像来遗传距离，然后通过预先训练的解码器解码DNA，其中37种DNA预测的总检验准确性为87.45％。这项研究通过系统地研究蘑菇图像识别问题，弥合宏观生物学信息和微观分子信息之间的差距，从而创建一个新颖的识别框架，这将为未来的智能生物识别技术提供新的参考。

最近，基于合成数据的实例分割已成为一种极其有利的优化范式，因为它利用模拟渲染和物理学来生成高质量的图像宣传对。在本文中，我们提出了一个并行预训练的变压器（PPT）框架，以完成基于合成数据的实例分割任务。具体而言，我们利用现成的预训练的视觉变压器来减轻自然数据和合成数据之间的差距，这有助于在下游合成数据场景中提供良好的概括，几乎没有样本。基于SWIN-B基的CBNET V2，基于SWINL的CBNET V2和SWIN-L基统一器用于并行特征学习，并且这三个模型的结果由像素级非最大最大抑制（NMS）算法融合来获得更强大的结果。实验结果表明，PPT在CVPR2022 AVA可访问性视觉和自主性挑战中排名第一，地图为65.155％。

特征选择是开发行业规模的深度点击率（CTR）预测系统的重要步骤。神经特征选择（NFS）的目标是选择一个相对较小的特征子集，具有最佳的解释性功率，作为消除冗余特征并降低计算成本的方法。灵感来自于基于梯度的神经结构搜索（NAS）和网络修剪方法，人们用Gating方法解决了NFS问题，该门控方法插入一组可分辨率的二进制栅极以降低更少的信息特征。二进制栅极以高效的端到端方式与网络参数一起优化。在本文中，我们从探索剥削角度分析了基于梯度的解决方案，并利用经验结果表明门控方法可能遭受勘探不足。为了提高基于梯度的解决方案的探索能力，我们提出了一种简单但有效的集合学习方法，名为Enemble Gating。我们选择两个公共数据集，即Avazu和Criteo，以评估这种方法。我们的实验表明，如果没有添加任何计算开销或引入任何超参数（除了集合的大小除外），我们的方法能够始终如一地提高门控方法，并在两个数据集中找到更好的特征子集，其中包含三个不同的底层底层CTR预测模型。

通过增加数据驱动应用的渗透率和扩散的推动，新一代无线通信，由人工智能增强的第六代（6G）移动系统（AI）引起了大量的研究兴趣。在6G的各种候选技术中，低地球轨道（LEO）卫星具有普遍存在无处不在的无可所述的特征。然而，卫星通信（SATCOM）的成本仍然很高，而相对于地面移动网络的对应物。为了支持具有智能自适应学习的大型互联设备，减少卫星的昂贵流量，我们在基于Leo的卫星通信网络中提出联合学习（FL）。我们首先审查最先进的基于LEO的SATCOM和相关机器学习（ML）技术，然后分析与卫星网络相结合的四种可能的方式。通过模拟和结果评估所提出的策略的学习性能，表明FL的计算网络提高了通信开销和延迟的性能。最后，我们沿着这项研究方向讨论了未来的研究主题。

本文回顾了关于压缩视频质量增强质量的第一个NTIRE挑战，重点是拟议的方法和结果。在此挑战中，采用了新的大型不同视频（LDV）数据集。挑战有三个曲目。Track 1和2的目标是增强HEVC在固定QP上压缩的视频，而Track 3旨在增强X265压缩的视频，以固定的位速率压缩。此外，轨道1和3的质量提高了提高保真度（PSNR）的目标，以及提高感知质量的2个目标。这三个曲目完全吸引了482个注册。在测试阶段，分别提交了12个团队，8支球队和11支球队，分别提交了轨道1、2和3的最终结果。拟议的方法和解决方案衡量视频质量增强的最先进。挑战的首页：https：//github.com/renyang-home/ntire21_venh

Weakly-supervised object localization aims to indicate the category as well as the scope of an object in an image given only the image-level labels. Most of the existing works are based on Class Activation Mapping (CAM) and endeavor to enlarge the discriminative area inside the activation map to perceive the whole object, yet ignore the co-occurrence confounder of the object and context (e.g., fish and water), which makes the model inspection hard to distinguish object boundaries. Besides, the use of CAM also brings a dilemma problem that the classification and localization always suffer from a performance gap and can not reach their highest accuracy simultaneously. In this paper, we propose a casual knowledge distillation method, dubbed KD-CI-CAM, to address these two under-explored issues in one go. More specifically, we tackle the co-occurrence context confounder problem via causal intervention (CI), which explores the causalities among image features, contexts, and categories to eliminate the biased object-context entanglement in the class activation maps. Based on the de-biased object feature, we additionally propose a multi-teacher causal distillation framework to balance the absorption of classification knowledge and localization knowledge during model training. Extensive experiments on several benchmarks demonstrate the effectiveness of KD-CI-CAM in learning clear object boundaries from confounding contexts and addressing the dilemma problem between classification and localization performance.

We aim to bridge the gap between our common-sense few-sample human learning and large-data machine learning. We derive a theory of human-like few-shot learning from von-Neuman-Landauer's principle. modelling human learning is difficult as how people learn varies from one to another. Under commonly accepted definitions, we prove that all human or animal few-shot learning, and major models including Free Energy Principle and Bayesian Program Learning that model such learning, approximate our theory, under Church-Turing thesis. We find that deep generative model like variational autoencoder (VAE) can be used to approximate our theory and perform significantly better than baseline models including deep neural networks, for image recognition, low resource language processing, and character recognition.

An increasing number of public datasets have shown a marked clinical impact on assessing anatomical structures. However, each of the datasets is small, partially labeled, and rarely investigates severe tumor subjects. Moreover, current models are limited to segmenting specific organs/tumors, which can not be extended to novel domains and classes. To tackle these limitations, we introduce embedding learned from Contrastive Language-Image Pre-training (CLIP) to segmentation models, dubbed the CLIP-Driven Universal Model. The Universal Model can better segment 25 organs and 6 types of tumors by exploiting the semantic relationship between abdominal structures. The model is developed from an assembly of 14 datasets with 3,410 CT scans and evaluated on 6,162 external CT scans from 3 datasets. We rank first on the public leaderboard of the Medical Segmentation Decathlon (MSD) and achieve the state-of-the-art results on Beyond The Cranial Vault (BTCV). Compared with dataset-specific models, the Universal Model is computationally more efficient (6x faster), generalizes better to CT scans from varying sites, and shows stronger transfer learning performance on novel tasks. The design of CLIP embedding enables the Universal Model to be easily extended to new classes without catastrophically forgetting the previously learned classes.